基于有效秩缩放的推荐系统统一异构特征交互
🧭 推荐系统统一异构特征交互与序列建模 ★ 深度解读
Alibaba Group · Renmin University of China · Institute of Automation, Chinese Academy of Sciences
HiRank统一异构特征交互与序列建模，通过主序列引导检索和场景感知高阶注意力，在淘宝CVR线上提升2.27%订单/用户
📌 工作参考价值（4 点）
- 主序列引导长期记忆检索：不要用静态 profile 特征直接生成长期行为 memory 的 query，容易导致 query 方向集中、有效秩低。可先让可学习 query seed attend 主行为序列，再用得到的主序列感知 query 去检索 long-term memory；同时保留 candidate-conditioned query 从候选物品视角读取同一 memory，两条路径互补，适合电商强 candidate 相关的 CVR 建模。
- 用有效秩(eRank)做特征交互层诊断：在 token mixing、memory retrieval 后定期计算 eRank，若有效秩过低说明表示多样性不足，可以增加 head-wise SwiGLU 或 per-token FFN；实验中 mixing 块和 memory retrieval 均显著提升 eRank，High-Rank Attention 阶段 eRank 仅小幅下降，可作为架构迭代的监控指标。
- 场景感知压缩 + 复合投影替代全量高维投影：在多场景/多域 CVR 中，直接用 scenario-aware cross-attention 将全部 token 压缩为 compact state，再通过多个独立参数化的 composite projections 生成 Q/K/V 做高阶交互，比直接对拼接 token 做大矩阵投影更省参数且能保留场景差异，适合业务线做多场景统一排序模型。
- 用户-物品解耦实现请求级计算复用：将 backbone token 分为 user-side 和 item-side，user-side 计算在同一个 request 内跨候选共享；使用 masked head-wise SwiGLU 实现单向 user->item 信息流（dependency matrix [[1,0],[1,1]]），既降低 online serving GFLOPs，又避免 item 信息污染 user 状态，适合电商/广告推荐 RLB 架构。
HELIX：净化并统一大规模推荐中的特征交互与序列建模
🧭 统一特征交互与序列建模的排序架构 ★ 深度解读
Data - Global E-Commerce Recommendation Video Team
用单向可复用 KV cache 与 Mixup-PerToken-FFN 联合扩展特征交互和序列建模，电商视频 GMV/用户提升约 6%
📌 工作参考价值（4 点）
- 把候选无关的用户行为序列编码成可复用 KV cache，候选侧只做 cross-attention 读取，强制单向信息流。这样在 serving 多候选、training 多样本时都能摊销 encoder 成本；如果搜广推系统里要接入用户长序列，这是可落地的架构选择。
- 异构特征交互可考虑用 Mixup-PerToken-FFN 替代 self-attention：参数免费的 Mixup 按通道切片重组 token，再用 token-wise SwiGLU 做非线性交互，比 self-attention 更适配稠密异构特征，且省计算。
- 序列 encoder 采用金字塔 query 压缩：按特征重要性给每条序列分配最近 token 预算，而不是全局截断或统一池化；配合 padding-free 变长执行，能显著降低长序列训练成本。
- 训练稳定性上，对 SwiGLU 的 gate/up 分支做非参数归一化可以避免 FP16 激活溢出；QK-Norm 和 value-side gated attention 在推荐排序模型里也有稳定 AUC 增益。
HubMixer：推荐系统中渐进式潜在 Hub 混合的参数高效特征交互
🧭 参数高效特征交互 · 潜在 Hub 混合 ★ 深度解读
Kuaishou Technology · Tsinghua University
用少量可学习 latent hubs 组织异构特征交互，参数更少、AUC 更高
📌 工作参考价值（4 点）
- 在已 token 化的精排模型里，若不想对全量 token 做 O(T^2) 交互，可引入 H 个可学习 hubs（H<<T）做 induction→hub self-attention→token readout，计算降到 O(TH)，适合电商/广告 ranking 做参数受控升级。
- 保留 token 级 field identity：不要将交互后的 hubs 池化成全局向量广播；用 token-conditioned cross-attention readout + LayerScale 残差写回，多任务各目标能按需取不同交互语义，避免全局坍缩。
- 静态 learnable hubs 加一个由 mean-pool token 生成的输入条件残差，成本低但能让 hub 随样本软路由；T=32 时 H=16 是精度/参数甜点，再多收益饱和，可作为默认配置参考。
- cross-attention 在 H<<T 时是小矩阵计算，批处理友好、便于 kernel fusion，适合在已有 token-mixing 排序模型上做轻量替换并上线验证深度转化目标。
拓扑掩码统一骨干：联合特征交互与多域序列建模
🧭 统一序列与特征交互的CVR排序 ★ 深度解读
Shandong University · Tsinghua University
用结构化TopoMask注意力在同一token空间内显式路由特征交互与多域序列信息流
📌 工作参考价值（4 点）
- 在统一token backbone中，不要默认全量self-attention；仿照TopoMask为不同token组（用户特征、商品特征、各行为域、memory token）预定义query-key连接矩阵，保留源内局部交互、阻断无关行为域直接attention，可降低噪声并提升CVR/CTR排序稳定性。
- 引入可学习全局/域级memory token作为信息汇聚节点，替代直接对长行为序列做sum/avg池化；后续只用memory token和query token做readout，能压缩长序列且保留多域摘要，容量敏感度低（32/8降到16/4影响很小）。
- 候选感知的DualQ值得复用：对用户侧和item侧token做双向cross-attention，再用独立attentive pooling生成几组query token，并用FiLM按行为域对query做条件调制；这比直接concat用户/item特征或单侧query更早注入target-dependent交互信号。
- Dense特征不要压成单个token：字段分组或语义分组分别投影再进交互层，能保留字段结构；腾讯实验里 dense collapse造成AUC大幅下降（val -0.0094）。另可借鉴ID频率分桶、EMA权重平均、SwiGLU序列编码等工程trick。
UniDot：统一序列建模与特征交互的大规模推荐架构
🧭 统一序列建模与特征交互架构 ★ 深度解读
Meta
以点积为统一原语，用双总线并行堆叠块融合序列与特征交互，获 KDD Cup 2026 工业赛道亚军
📌 工作参考价值（4 点）
- 显式保留 FM 级点积交互：在深层残差网络旁路增加一个 FM Highway，把每层 token 点积、Gram 矩阵、跨总线 user-item 点积直接 concat 送进分类器，消融显示去掉后 AUC 掉 0.127%，成本极低。现有 DeepFM/DCN 等模型可以借鉴：不要把所有低阶信号都交给深层网络隐式学习，显式旁路对 CTR/CVR 任务性价比很高。
- 多路径互学习（DML）：两条相同结构、共享稀疏 embedding 表的路径互相蒸馏，推理时可以只用单路径（1× 成本），但训练时多路径正则化能把单路径模型拉到更好最优解。论文中单路径就能拿亚军，适合需要严格控制线上推理成本的场景。
- 序列编码一次、多处共享：行为序列 embed 一次，同时供 cross-attention、池化等多个消费者使用，避免重复编码。多域行为按时间戳 merge 成一条流，再与原始 domain 并行，能捕捉跨域时序模式。这个工程实现可显著降低推荐系统序列侧的推理延迟。
- 冷重启 embedding 对抗时间漂移：每个 epoch 后把高基数 embedding 表重新初始化，dense 参数保留，让 embedding 每轮重新学习，适配广告推荐中训练/测试时间差小的场景。对于电商大促、广告新广告位等快速变化场景有参考价值。
SpecFormer：通过谱感知Transformer缓解推荐中的嵌入与注意力坍缩
🧭 谱感知Transformer · 特征交互坍缩缓解 ★ 深度解读
Zhejiang University · Alibaba Group
揭示推荐数据异质长尾引发谱坍缩恶性循环，用动态谱软化与谱感知注意力打破瓶颈
📌 工作参考价值（5 点）
- 谱软化模块可迁移至任何Transformer特征交互模型：用可学习的幂律变换 (τ ∈ (0,1)) 动态压平奇异值分布，抑制主成分、激活长尾特征。此trick可直接插入现有推荐Transformer或LLM4Rec的注意力层前，成本低。
- Q/K用软化嵌入、V用原始嵌入的分离设计：实验证实，V用软化嵌入会扭曲语义、导致信息丢失。在工业级特征交互中，保留原始V可稳定聚合，软化Q/K则引导多样化的注意力模式，是简单有效的工程选择。
- 基于Taylor展开的谱残差偏置：用归一化奇异值的二阶多项式构造结构化偏置加回注意力得分，既补偿软化对主成分的压制，又为模型提供明确的谱感知归纳偏置。可抽象为一种增强Transformer表达能力的通用位置编码技巧。
- 两阶段训练稳定SVD模块：先用空间残差项预热5%数据，再开启主CTR训练。该策略解决了随机初始化下奇异值分布病态导致的数值不稳定，对有SVD/谱变换的模型尤其关键。
- 深度可扩展性与在线部署：9层SpecFormer注意力有效秩持续上升、AUC递增，而标准Transformer急剧坍缩。在线A/B中仅+5ms延迟换得CTR +1.34%、订单+16.72%，证明工业级极低成本获得显著收益。
UniRank：统一序列建模与特征交互的排序模型基准
🧭 统一排序模型基准测试 ★ 深度解读
Anhui University · University of Science and Technology of China · Tencent Inc.
首个面向 Token 化统一排序模型的开放基准，标准化多任务点式自回归评估并降低训练成本
📌 工作参考价值（4 点）
- Tokenization 策略选择：Field 保留语义边界、Auto 学习全局交互、Chunk/Random 引入高熵分组表征，应根据特征场数量与交互需求选取；电商场景下 Auto 通常更稳，Chunk 在特征较多时可能带来多样性增益。
- 注意力激活函数：GeLU 和 SiLU 作为注意力 logits 激活在两个数据集上平均 AUC 提升最显著（KuaiRand +0.51, MerRec +0.38），优于传统 Softmax；Sigmoid 对点赞等稀疏任务有利，可针对不同目标 task 单独配置。
- 即插即用的 AttGate：在注意力后加一个可学习的 sigmoid 门控，是所有实验中唯一在两个数据集的所有任务上都有提升的组件（KuaiRand 平均 AUC +0.88, MerRec +0.99），可作为通用即插即用模块嵌入现有排序模型。
- 优化器与缩放定律：稠密参数优化器 AdamW 并非最优，LaProp、SOAP、Muon 在不同数据集上分别带来 0.6~1.9 个点的平均 AUC 提升；缩放时栈式模型提升 token 维度即可，层式模型需同时增加序列长度和深度，架构决定了有效扩展方向，不能只看 FLOPs。
双流 MLP：CTR 预测的极简高效方案
🧭 CTR 预测 · 特征交互 · 知识蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · ByteDance · Meituan
用知识蒸馏将显式特征交互能力压缩至主 MLP，辅以并行隐式 MLP 并通过双重对齐训练，达到 SOTA 且部署简单。
📌 工作参考价值（4 点）
- 轻量部署：线上推理只使用一个简单 MLP，但知识蒸馏可以把复杂显式交互模型（如 DCN、xDeepFM）的能力注入其中，适合大规模推荐系统对延迟敏感的场景。
- 双流互补设计：保留一个并行的隐式交互 MLP 作为辅助训练分支，缓解显式模块可能过拟合或主导预测的问题，训练后丢弃，不影响推理成本。
- 特征与 logit 双重对齐：引入隐式/显式特征表示对齐损失和最终预测 logit 对齐损失，有效平衡两个分支，防止辅助分支退化或主分支被干扰，该对齐策略可迁移到多路模型融合。
- 即插即用的蒸馏范式：DS-MLP 可作为通用 CTR 模型的压缩框架，将任意复杂 teacher 的交互知识迁移到极简 MLP，适合在电商广告、推荐系统中进行模型轻量化。